Hài cốt của nhà giáo Võ Trường Toản lúc đầu được chôn tại làng Hòa Hưng, là nơi ông từng ngồi dạy học (xem đình Chí Hòa). Theo Huỳnh Minh, chuẩn theo lời tâu của Phan Thanh Giản, năm 1852, vua Tự Đức đã ban chỉ "lập đền thờ, hiến ruộng để phụng sự, mỗi năm xuân thu cúng tế" cho ông [12].

Sau khi quân Pháp chiếm ba tỉnh miền Đông Nam Kỳ (1862), Phan Thanh Giản, Nguyễn Thông (đốc học Vĩnh Long), Phạm Hữu Chánh (hiệp trấn An Giang), hiệp cùng nhiều sĩ phu khác đã cải táng di cốt của Võ Trường Toản (cùng vợ và con) về xã Bảo Thạnh (Ba Tri, Bến Tre), với ý nghĩa là không để mộ thầy nằm trong vùng cai quản của quân xâm lược. Ngày cải táng (28 tháng 3 âm lịch năm 1867), Nguyễn Thông đã thay mặt các nho sĩ đứng làm chủ lễ.

Khu mộ của Võ Trường Toản được người ở xã Bảo Thạnh (trước đây gọi là làng Mù U) gọi là "khu mộ ông Hậu Tổ", vì ông là người có công truyền dạy luân lý Khổng Mạnh ở vùng đất Đồng Nai - Gia Định. Ở đây, ngoài ngôi mộ ông, còn có mộ vợ và con gái (vợ chồng ông chỉ sinh được 1 gái, bị bệnh mất từ nhỏ). Cả ba đều được xây dựng theo dạng voi phục, nằm trong khuôn viên thoáng rộng. Ở ngoài khu mộ, phía bên phải là một nhà thờ nhỏ đẹp với mái cong, hai tầng, và bên trong có đặt tượng của ông.

Khu mộ và đền thờ đã được Bộ Văn hóa Thông tin ra quyết định công nhận là Di tích lịch sử cấp quốc gia ngày 24 tháng 1 năm 1998[13] và Quyết định số 2654/QĐ-UB của UBND tỉnh Bến Tre ban hành ngày 18/8/2000 mở rộng khu di tích trên phần đất thu hồi của ông Phan Văn Năm, hiện nay (2016) nhà ông Năm ở đối diện cổng chính và ông cũng là người đầu tiên coi sóc khu di tích mộ cụ Võ.